AI Papers Daily

#embedding compression

4 篇

N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models

N-Gram 记忆两比特量化：LLM 查找表压缩

🧭 LLM 条件记忆嵌入表压缩

Dnotitia Inc. · KAIST

共享 Gaussian trellis 与 norm restoration 将条件记忆行压缩为 2-bit 码，KL 较 2-bit RTN 降低 41-63%，DeepSeek 表由 203GB 降至 51GB

📌 工作参考价值（4 点）

• 大规模稀疏 embedding 表（用户/商品 ID、行为序列记忆、检索索引）可借鉴 CP 的“短码 + 局部 scale + 共享重建程序”：每行仅存 2-bit 码与 scale，离线共享解码器，线上仅解码被查行，显著降低 GPU 显存占用。
• 独立可解码行记录对推荐推理友好；线上 batch 只查少量 ID，无需全局反量化，可将压缩表常驻 GPU 或高速存储，保持稀疏 lookup 延迟。
• 先统计业务 embedding 坐标是否接近高斯，再选择非均匀量化/格码；若不满足，可先做归一化或白化，配合 norm restoration 使用，避免直接 round-to-nearest 的精度损失。
• 同等存储预算下，共享 trellis 优于 per-table 拟合码本和低秩残差；优先采用全局共享重建结构，训练时联合微调局部 scale，可进一步提升压缩效率。

LLM | 2026-10-15 | HF Daily | score 7/10

quantizationlookup tableconditional memoryLLMembedding compressionn-gram

Learning Sparse Representations of Multimodal Content for Enhanced Cold Item Recommendation

多模态内容稀疏表示学习增强冷启动物品推荐

🧭 稀疏表示学习 · 内容冷启动

Queen Mary University of London

用稀疏嵌入替代稠密向量，以更低存储成本显著提升内容冷启动推荐准确性

📌 工作参考价值（4 点）

• 冷启动物品直接用多模态内容（图片、文本）生成稀疏嵌入，无需交互历史，可无缝用于电商 / 广告新品推荐。
• 稀疏嵌入显著降低存储成本（大幅压缩向量维度），并支持高效近似近邻检索，适合大规模商品目录。
• 借鉴预稀疏化激活技术（基于线性注意力），可以增强物品间相似度的尖锐性和去噪效果，让稀疏表示更具判别力。
• 稀疏性天然利于可解释推荐：非零维度可对应具体内容语义，方便向广告主解释为何推荐该物品。

RecSys | 2026-07-19 | cs.IR | score 7/10

cold-startsparse embeddingsmultimodalcontent-based recommendationlinear attentionembedding compression

MultiHashFormer: Hash-based Generative Language Models

MultiHashFormer：基于哈希的生成式语言模型

🧭 基于哈希的生成式语言模型

School of Computer Science, University of Sheffield

用多哈希函数生成唯一 token 签名，实现哈希自回归生成，在保持低参数量的同时超越标准 Transformer

📌 工作参考价值（4 点）

• 商品 / 搜索词嵌入压缩：在推荐或搜索系统中，物品 ID 或 query 的词汇表极大，可以利用多哈希签名代替全量 embedding 矩阵，大幅降低参数量与内存。
• 生成式推荐中的物品解码：对于 GenRec 场景，可将物品编码为哈希签名，由解码器自回归生成签名序列，再映射回具体物品，实现无固定词表的生成式推荐。
• 动态词表扩展：新商品、新搜索词随时上线时，无需重新训练或增加参数即可通过哈希映射加入，适合电商环境下频繁变动的 item 库。
• 多语言 / 多模态统一表示：若业务涉及多语言商品描述或多模态实体，可用相同哈希框架统一编码，避免为每种语言或模态单独维护 embedding 表。

LLM | 2026-06-26 | cs.CL | score 6/10

hash-based LMparameter efficiencyvocabulary bottleneckautoregressive generationembedding compressionmultilingual expansion

DIVE: Embedding Compression via Self-Limiting Gradient Updates

DIVE：通过自限制梯度更新实现嵌入压缩

🧭 嵌入压缩 · 自限制梯度更新

University of Washington Tacoma

通过自限制 hinge triplet 损失和多头对比学习，在小样本下稳定压缩高维嵌入，全面超越现有适配器

📌 工作参考价值（4 点）

• 小样本场景下微调嵌入压缩模型常过拟合，可借鉴自限制 hinge triplet loss：一旦 triplet 满足 margin 约束即停止梯度，安全地限制对预训练空间的扰动，稳定训练过程。
• 利用多头投影构造隐式视角，对每个嵌入计算 NT-Xent 对比损失，为稀疏的 triplet 信号提供密集的自监督梯度。在推荐系统标注数据稀少时，此技巧能显著提升压缩表示质量。
• 采用轻量 residual adapter 实现维度压缩（仅 14M 参数），无需改动预训练 LLM 骨干，可直接嵌入线上向量检索链路，降低存储与计算成本。
• 在电商搜索或推荐中，当需要将高维商品/用户 embedding 压缩以加速检索时，DIVE 的损失设计可作为微调范式，避免压缩比例增大时性能断崖下跌。

RecSys | 2026-05-20 | cs.IR | score 7/10

embedding compressiondimensionality reductiontriplet losscontrastive learningadapterretrieval